GenAI的挑戰

• Regulatory violations: 違反規範
• Social risks: 散布錯誤資訊
• Data security and privacy concerns: 資料安全與隱私的疑慮
• Toxicity: 模型產生有害內容。使用guardrails過濾有害內容
• Hallucinations: 模型產生的回答看起來很真實、有說服力，但實際上是錯誤的。LLM是基於"下一個詞的機率取樣"來生成文字，因此回應可能非常合理、非常像真的。內容驗證，與獨立的資料來源交叉比對
• Interpretability: 是否容易解釋
• Nondeterminism: 對同一個查詢做兩次，結果也可能不同
• Plagiarism and cheating: 抄襲與作弊的風險，AI被用來撰寫大學報告、求職作品，或其他任何形式的作弊與抄襲

Prompt Misuses

• Poisoning: 將惡意或有偏見的資料加入模型的訓練資料集，讓模型產生有偏見、冒犯或有害的輸出
• Prompt Injection: 在prompt本身內嵌特定指令影響輸出，產生符合攻擊者意圖的結果
• Exposure(資料外洩): 模型在訓練或推論過程中，意外洩漏訓練資料中的隱私內容
• Prompt Leaking: 模型輸出使用過的prompt或輸入內容的情況
• Jailbreaking: 繞過這些安全限制與防護機制，讓GenAI執行原本不允許的行為或取得未授權的功能